The Impact of Backbone Evolution on LLM-Based Relevance Assessments
骨干模型演进对 LLM 相关性评估的影响
🧭 LLM Judge 骨干版本演进与稳定性
The University of Queensland
固定 prompt 下，模型升级不必然提升 LLM 相关性判断与人类一致性，且聚合性能不变不等于判断稳定
📌 工作参考价值（4 点）
- 把“prompt + backbone version”当作一个固定评测单元，模型升级不等于自动更好；不要仅因模型能力提升或版本更新就更换线上 judge，必须做等效性验证。
- 维护 golden set：对搜索/推荐相关性、广告质量、Agent 输出等人工标注样本，在升级 backbone 时跑旧/新版本 diff，统计“正确标签翻转率”和分 query/类目的稳定性，而不要只看总体 kappa/accuracy。
- LLM judge 产出若用于生成训练数据（如相关性弱监督、蒸馏排序模型），label drift 会传导到下游模型；建议冻结 judge 版本并留存 prompt+model 快照，必要时用旧版本回放或双版本并行过渡。
- 对 rubric 类 prompt（如多维度打分）也需要重新标定阈值/评分映射，不能假设同 prompt 在不同 backbone 上分数可比；可在评分后做单调校准或 ordinal calibration。